Địa bàn huyện Hương Sơn ngày nay nguyên là huyện Dương Toại, thuộc quận Cửu Đức.

Đời Tấn Vũ Đế tách lập huyện Phố Dương, có 2 làng Phố Châu và Phúc Dương. Đời Đường, đây là châu Phúc Lộc.

Thời nhà Đinh và nhà Tiền Lê thuộc đất Hoan Châu.

Thời nhà Lý là hương Đỗ Gia thuộc châu Nghệ An.

Thời nhà Trần và thuộc nhà Minh là hai huyện Cổ Đỗ (vùng đất chủ yếu thuộc Hương Sơn ngày nay) và Thổ Hoàng (các vùng đất thuộc hai huyện Hương Khê và Vũ Quang ngày nay)

Thời nhà Hậu Lê ban đầu là huyện Đỗ Gia, từ năm 1469, đời vua Lê Thánh Tông, là huyện Hương Sơn, thuộc phủ Đức Quang, xứ Nghệ An (sau đó là trấn Nghệ An).

Từ năm 1831-1919, là huyện Hương Sơn, phủ Đức Thọ, tỉnh Hà Tĩnh.

Năm Tự Đức thứ 21 (1868) huyện Hương Khê (vùng đất của huyện Thổ Hoàng trước đây) tách ra khỏi Hương Sơn.

Năm 1931, bỏ cấp phủ, huyện Hương Sơn trực thuộc tỉnh Hà Tĩnh.

Thời Việt Nam dân chủ cộng hòa (1945-1975), huyện Hương Sơn vẫn thuộc tỉnh Hà Tĩnh.

Ngày 13 tháng 1 năm 1969, thành lập xã Sơn Hồng trực thuộc huyện Hương Sơn.[1]

Từ năm 1976 đến năm 1991, huyện Hương Sơn thuộc tỉnh Nghệ Tĩnh.

Năm 1976, xã Ân Phú thuộc Hương Sơn chuyển sang huyện Đức Thọ và đổi tên thành xã Đức Ân (tuy nhiên đến năm 2000 lại chuyển về huyện Vũ Quang và đổi lại tên cũ là xã Ân Phú). Từ đây, huyện Hương Sơn có 31 xã: Sơn An, Sơn Bằng, Sơn Bình, Sơn Châu, Sơn Diệm, Sơn Giang, Sơn Hà, Sơn Hàm, Sơn Hòa, Sơn Hồng, Sơn Kim, Sơn Lâm, Sơn Lễ, Sơn Lĩnh, Sơn Long, Sơn Mai, Sơn Mỹ, Sơn Ninh, Sơn Phố, Sơn Phú, Sơn Phúc, Sơn Quang, Sơn Tân, Sơn Tây, Sơn Thịnh, Sơn Thọ, Sơn Thủy, Sơn Tiến, Sơn Trà, Sơn Trung, Sơn Trường.

Ngày 22 tháng 7 năm 1989, thành lập thị trấn Phố Châu từ một phần xã Sơn Phố.

Từ năm 1991, huyện Hương Sơn thuộc tỉnh Hà Tĩnh vừa được tái lập.

Ngày 19 tháng 11 năm 1997, thành lập thị trấn Tây Sơn từ một phần các xã Sơn Tây và Sơn Kim.

Ngày 2 tháng 8 năm 1999, sáp nhập xã Sơn Phố vào thị trấn Phố Châu.

Đến năm 2000, huyện Hương Sơn có 2 thị trấn: Phố Châu, Tây Sơn và 30 xã: Sơn An, Sơn Bằng, Sơn Bình, Sơn Châu, Sơn Diệm, Sơn Giang, Sơn Hà, Sơn Hàm, Sơn Hòa, Sơn Hồng, Sơn Kim, Sơn Lâm, Sơn Lễ, Sơn Lĩnh, Sơn Long, Sơn Mai, Sơn Mỹ, Sơn Ninh, Sơn Phú, Sơn Phúc, Sơn Quang, Sơn Tân, Sơn Tây, Sơn Thịnh, Sơn Thọ, Sơn Thủy, Sơn Tiến, Sơn Trà, Sơn Trung, Sơn Trường.

Ngày 4 tháng 8 năm 2000, xã Sơn Thọ chuyển sang thuộc huyện Vũ Quang.

Ngày 2 tháng 1 năm 2004, chia xã Sơn Kim thành 2 xã: Sơn Kim 1 và Sơn Kim 2.

Ngày 21 tháng 11 năm 2019, sáp nhập ba xã Sơn Tân, Sơn Mỹ và Sơn Hà thành xã Tân Mỹ Hà; sáp nhập ba xã Sơn An, Sơn Thịnh và Sơn Hòa thành xã An Hòa Thịnh; sáp nhập ba xã Sơn Phúc, Sơn Mai và Sơn Thủy thành xã Kim Hoa; sáp nhập xã Sơn Quang và xã Sơn Diệm thành xã Quang Diệm.[2]

Huyện Hương Sơn có 2 thị trấn và 23 xã như hiện nay.